No domínio da Inteligência Artificial, a modelagem de sequências desloca o foco de instantâneos estáticos para fluxos temporais. Tarefas padrão de aprendizado de máquina frequentemente assumem que os pontos de dados são Independentes e Identicamente Distribuídos (IID), o que significa que a ordem das amostras não influencia o resultado.

A modelagem de sequências rejeita explicitamente essa ideia, concentrando-se em três pilares fundamentais:

• Violação da Invariância por Permutação: Em dados tabulares, a ordem das colunas é arbitrária. Em sequências, a ordem é a característica principal. Trocar "The cat ate the rat" por "The rat ate the cat" muda fundamentalmente a verdade fundamental semântica apesar dos tokens idênticos.
• Propriedades Autorregressivas: Assumimos que uma observação no tempo $t$ é matematicamente condicionada ao seu histórico ($t-1, t-2, \dots, 1$). Isso exige probabilidades de transição para capturar como a informação evolui.
• Mapeamento de Comprimento Variável: Ao contrário de grades fixas de 28x28 pixels, sequências como frases ou ondas sísmicas são elásticas. Os modelos devem processar entradas de comprimento $N$ e produzir saídas de comprimento $M$ usando parâmetros consistentes.